Ioannes I Tzimiskes được sinh ra trong dòng họ Kourkouas, một gia tộc gốc gác Armenia.[2] Các học giả đã suy đoán rằng biệt danh "Tzimiskes" của ông được bắt nguồn hoặc từ Chmushkik (Չմշկիկ), trong tiếng Armenia có nghĩa là "giày ống đỏ", hoặc một từ tiếng Armenia mang nghĩa "tầm vóc ngắn". Một lời giải thích có phần thuận lợi hơn được đưa ra bởi nhà sử học Armenia thời Trung cổ Matthew thành Edessa, cho rằng "Tzimiskes là từ vùng Khozan, từ khu vực mà nay gọi là Chmushkatzag".[3] Khozan nằm trong khu vực Paghnatun, trong tỉnh Armenia Thứ tư (Sophene) thuộc Đông La Mã.[4]

Tzimiskes chào đời vào năm 925 từ kết quả của mối tình giữa một thành viên giấu tên của gia tộc Kourkouas với em gái của Hoàng đế Nikephoros II Phokas trong tương lai. Cả Kourkouti và Phokadai đều được xếp thành những dòng tộc Cappadocia, và là những kẻ nổi bật nhất trong số tầng lớp quý tộc quân sự mới nổi vùng Tiểu Á. Một số thành viên của họ đã từng là tướng lĩnh tài ba, đáng chú ý nhất là Ioannes Kourkouas với công lao chinh phục miền Melitene và phần lớn xứ Armenia.

Các nguồn sử liệu đương thời mô tả Tzimiskes như một người đàn ông cường tráng thấp bé với mái tóc vàng hoe hơi đỏ và bộ râu cùng đôi mắt xanh cuốn hút phụ nữ.[5] Ông xem ra từng tòng quân hồi còn trẻ, ban đầu phục dịch dưới trướng người chú bên ngoại Nikephoros Phokas. Sau này cũng được coi là người hướng dẫn về binh pháp cho Tzimiskes. Một phần do mối liên hệ dòng tộc và một phần là nhờ vào khả năng cá nhân của mình, Tzimiskes đã nhanh chóng thăng quan tiến chức. Ông được triều đình giao phó trọng trách chỉ huy quân sự và chính trị tại quân khu (thema) Armenia trước khi bước sang tuổi hai mươi lăm.

Cuộc hôn nhân với Maria Skleraina, con gái của Pantherios Skleros và em gái của Bardas Skleros, đã giúp ông gắn kết với danh gia vọng tộc Skleroi. Giới sử gia hiểu biết quá ít về thân thế Maria Skleraina; bà đã chết trước khi Tzimiskes lên ngôi, và cả hai dường như không có con. Nhà sử học đương đại Leon Diakonos còn nhận xét rằng bà sở hữu dung mạo mỹ miều lẫn trí tuệ sắc sảo.[6]